Teamprojekt: Sprachverarbeitung auf einer IoT-Plattform

Lec­tu­rer	Oli­ver Bring­mann HeadOli­ver Bring­mann
In­struc­tors	Alex­an­der Jung Re­se­ar­cherAlex­an­der Jung Adri­an Frisch­knecht Alum­niAdri­an Frisch­knecht
Type of cour­se	Team­pro­jekt (Pro­gram­mier­pro­jekt)

Be­schrei­bung

Heut­zu­ta­ge sind Sprachas­sis­ten­ten auf vie­len ver­schie­de­nen Platt­for­men ver­füg­bar, wie zum Bei­spiel Goog­le As­sis­tant oder Ama­zon Alexa. Al­ler­dings wer­den dabei sämt­li­che Sprach­kom­man­dos an die Ser­ver des je­wei­li­gen Un­ter­neh­mens zur Ver­ar­bei­tung ge­schickt und dort ab­ge­spei­chert. Dies führt zu gro­ßen Be­den­ken be­züg­lich des Da­ten­schut­zes.

Eine Mög­lich­keit einen Sprachas­sis­ten­ten si­che­rer zu ge­stal­ten ist die Sprach­ver­ar­bei­tung kom­plett off­line auf der IoT-Platt­form durch­zu­füh­ren. Oft­mals sind die Platt­for­men, wie ein Raspber­ry Pi, dafür aber nicht leis­tungs­stark genug. Eine an­de­re Mög­lich­keit ist Open-Sour­ce Pro­jek­te zu nut­zen, wie zum Bei­spiel Mo­zil­la De­ep­Speech.

In die­sem Team­pro­jekt (Pro­gram­mier­pro­jekt) soll Sprach­ver­ar­bei­tung auf einer IoT-Platt­form rea­li­siert wer­den. Dafür soll eine Ap­pli­ka­ti­on ent­wi­ckelt wer­den, die bei Ak­ti­vie­rung (ma­nu­ell oder durch Wa­ke­word-Er­ken­nung) ein Sprach­kom­man­do auf­nimmt und an einen De­ep­Speech Ser­ver wei­ter­lei­tet, sowie das Er­geb­nis wie­der emp­fängt und wei­ter ver­ar­bei­tet. Für die Cli­ent-Ser­ver-Kom­mu­ni­ka­ti­on sol­len ver­schie­de­ne Mög­lich­kei­ten eva­lu­iert und ggf. im­ple­men­tiert wer­den. Stretch Goals be­inhal­ten die Ver­bes­se­rung der Wa­ke­word-Er­ken­nung, sowie Um­set­zung der Sprach­kom­man­dos in Ak­tio­nen (In­tent-Par­sing).

Lern­in­hal­te:

• Pro­gram­mie­rung in Py­thon und C/C++
• Ent­wurf und Im­ple­men­tie­rung eines Kom­mu­ni­ka­ti­ons­pro­to­kolls
• Ar­bei­ten mit einem Raspber­ry Pi
• Pro­gram­mie­rung und Ab­stim­mung im Team